컨텐츠상세보기

빅데이터의 다음 단계는 예측 분석이다 (커버이미지)
빅데이터의 다음 단계는 예측 분석이다
  • 평점평점점평가없음
  • 저자에릭 시겔 지음, 고한석 옮김 
  • 출판사이지스퍼블리싱 
  • 출판일2014-11-25 
보유 1, 대출 0, 예약 0, 누적대출 0, 누적예약 0

책소개

실리콘밸리 사람들은 지금 '예측 분석'을 공부하고 있다!

이제는 누가 클릭할지, 누가 구매할지, 누가 합격할지 데이터를 통해 예측할 수 있다. 이 책, <예측 분석이다>에서는 도대체 어떻게 이러한 일들이 가능한지, 학계의 연구에만 머물렀던 예측 기술이 현실의 비즈니스에서 어떻게 작용하고 있는지를 보여준다.

논픽션 어워드 2014 금상 수상작이도 한 이 책은 예측 사회를 살아가는 리더들이 꼭 알아야 할 의사결정 나무, 휴리스틱, 네트워크 분석, 앙상블 기법, 텍스트 분석, 예측 최적화 등의 키워드를 선진 기업들의 실제 적용 사례를 통해 생생하게 소개한다.

이제 예측 분석의 키워드를 이해하는 기업만 살아남는다. 기계 학습의 과정과 인공지능이 만들어준 놀라운 성과를 서둘러 만나보라. 예측 사회로 진입하는 지금, 프로그래머뿐 아니라 마케터, CEO 들의 일독을 권한다. 전 세계의 IT 업계를 달구고 있는 핫이슈인 예측 분석의 세계로 들어가 보자!



[출판사 서평]



미국의 데이터 리더 39명이 적극 추천한 책!

- ‘이 업계에 대한 결정적 책이 나왔다!’


드디어 우리나라에도 본격적으로 예측 분석을 소개한 책이 나왔다. <예측 분석이다>는 데이터 과학 분야의 전문가인 에릭 시겔의 Predective Analytics의 번역서로, 구글의 통계학자 마리안나와 전 캐글닷컴 CEO 앤서니 골드블룸을 비롯하여 나이키, 넷플릭스 등 선도적인 기업의 데이터 분야 리더 39명이 적극 추천한 책이다. 이들이 입을 모아 한 공통적인 이야기는 2가지이다.

하나는 예측 분석 분야를 아는 것은 이제 기업의 생존이 걸린 문제라는 것이고, 또 하나는 예측 분석 분야를 이 책보다 더 쉽게 설명할 수는 없다는 것이다.

그렇다. 그들은 ‘이 업계에 대한 결정적 책이 나왔다’는 데 이견을 보이지 않았다.



세계의 IT 업계가 지금 이것을 공부하고 있다!

- ‘예측 분석은 기업의 존폐를 가르고 정치권력도 바꾼다!’


예전에는 미래의 일을 알기 위해 점쟁이를 찾아갔다. 그러나 지금은 데이터를 분석한다. 올해 들어 <그녀(Her)>, <트렌센던스> 등 인공지능을 다룬 영화들이 잇달아 개봉한 것도 우연은 아니다. 구글과 페이스북, 아마존, 애플이 최근에 인수한 업체들은 모두 예측 분석과 관련이 있는 업체들이다. 실리콘밸리의 기업들만 예측 분석에 관심을 갖는 것이 아니다. 이 책에서 소개하고 있듯이 쇼핑몰의 고객 예측, 웹사이트 광고 클릭, 주식 투자, 통신사 고객 이탈, 은행의 대출 리스크, 범죄 예방, 대통령 선거에 이르기까지 작은 기업에서부터 대기업, 정부기관까지 그야말로 온 세상이 데이터 과학과 예측을 활용한 테크놀러지를 사용하여 수익을 내고 성공을 하고 있다.



선진적인 조직들의 케이스 스터디를 통해 배운다!

- ‘강단을 뛰쳐나와 현실 세계에 적용된 알고리즘들을 만나보라’


데이터 과학의 핵심적 방법인 데이터 마이닝(인공지능)의 주요한 기법에 대해서 ‘이 이상 쉽게 설명할 수 없다’는 격찬을 받은 이 책은, 그동안 학교 강단에서만 이야기되던 인공지능이나 기계 학습 이론들이 실제 비즈니스 속에서 어떻게 적용되는지 보여준다. 특히 실제 스토리를 통해 설명하기 때문에 비전공자도 흥미진진하게 예측의 알고리즘을 이해할 수 있다. 또한 다양한 분야의 사례를 조명함으로써 각기 다른 비즈니스나 산업에 종사하는 사람이라도 그것을 자기 영역에 창조적으로 적용할 수 있는 영감을 얻을 수 있다는 점이 큰 강점이다. 마케팅 분야 종사자는 물론이고 의학 분야 종사자, 사법기관 담당자, 정부기관이나 사회복지 담당자, 교육기관 종사자, 웹사이트 운영자, 게임 개발자 등 모든 분야에서 데이터 과학을 어떻게 활용할 것인지 아이디어를 얻을 수 있을 것이다.

이 책에서 다룬 주요한 예측 기법은 의사결정 나무, 휴리스틱, 네트워크 분석, 앙상블 기법, 텍스트 분석, 예측 최적화 등이다.



‘예측 분석’은 ‘전망’과는 다르다!

- ‘이제 예측 분석의 키워드를 이해하는 기업만 살아남는다!’


예측 분석의 핵심은 데이터의 상대적인 크기가 아니라 그것으로 무엇을 하고자 하는가에 있다. 이 책에서는 ‘예측 분석’에 대해 이렇게 말한다.

‘예측 분석(Predictive Analytics, PA)은 더 나은 의사결정을 내리기 위해 개인들의 미래 행위를 예측하고자 경험(데이터)으로부터 배우는 테크놀로지이다.’

예측 분석은 ‘전망’(forecasting)과는 완전히 다르다. 전망은 거시적 차원에서 집합적 예측을 한다. 경제가 어떻게 될 것인가? 어느 대통령 후보가 오하이오에서 더 많은 표를 얻을 것인가? 네브래스카 주에서 다음 달에 아이스크림 콘이 얼마나 팔릴지에 대한 합계 숫자를 추산하는 것이 전망이라면, 네브래스카 주민들 중 어떤 ‘개인’이 손에 아이스크림 콘을 들고 있게 될 가능성이 가장 높은가를 말해 주는 것은 예측 분석이다.

이 책은 기업, 병원, 정부기관, 교육기관 등 다양한 조직들이 어떻게 과거의 기록인 데이터(‘빅’ 데이터든 ‘스몰’ 데이터든)를 활용하여 미래를 예측함으로써 원하는 성과를 얻어내는지에 대해서 설명하고 있다.



데이터 과학의 매혹과 위험성을 만나보라!

- ‘빅데이터는 선과 악 모두에 쓰일 수 있다!’


어느 과학자는 인공지능에 대한 연구를 더 진행하면 안 된다고 말한다. 기계 학습을 통해 컴퓨터가 지능을 가지게 되면 우리가 상상하는 것 이상으로 엄청난 결과를 만들어낼 수 있기 때문이다. 이 책에 소개된 데이터 과학의 힘(파급력)은 이렇다.

어느 날 직장 상사가 당신을 불러 “인사과에서 메일이 왔는데 당신이 회사를 떠날 확률이 68퍼센트나 된다는군요”라고 말한다면 기분이 어떨까? 더욱이 여태껏 회사를 떠난다는 생각을 한 번도 해본 적이 없다면? 휴렛팩커드(HP)에서는 실제로 전 직원을 상대로 이직 위험 점수를 매겼다. 또 미국의 한 쇼핑몰은 부모도 알지 못했던 여고생의 임신을 예측하여 미국 사회를 발칵 뒤집어놓기도 했다.

예측 분석은 생산성과 효율성의 증가, 쓰레기 우편물 및 그로 인한 환경적 악영향의 감소, 의료 서비스의 개선, 더 많은 즐거움을 선사하는 영화 및 음악 추천 등 많은 이점을 제공한다. 정확한 마케팅 예측으로 타깃 소비자에게 더 적은 비용을 들여 홍보하고 더 많은 매출을 올리는 과정은 그야말로 매혹적이다. 하지만 다른 한편으로는 사생활이 노출되면서 소비자가 동물원의 원숭이처럼 관찰되고 길들여질 수 있는 위험성에 대해서도 지적이 된다.

저자는 칼이라는 도구로 맛있는 음식을 만들 수도 있지만 사람을 해칠 수도 있듯이 데이터를 사용함에 있어서 기업, 정부와 사용자들이 신중하게 접근해야 한다고 조언한다.



예측 사회를 살아갈 우리에게 던지는 에릭 시겔의 조언??…

- ‘게임의 룰이 바뀌고 있다. 당신은 준비가 되어있는가?’


이 책은 예측 분석의 방법론과 구체적인 적용 사례를 통해 데이터 과학이라는 새로운 분야의 등장이 우리 사회에 어떠한 영향을 미치게 되는지, 우리가 그에 대해서 어떠한 준비를 해야 하는지 생각할 거리를 던져준다.

기업들은 채무불이행, 주문 취소, 학교 중퇴, 사고, 사기, 범죄 등으로 인한 리스크를 측정하고 예측함으로써 이득을 얻는다. 예측 분석은 리스크를 기회로 바꿔놓는다.

하지만 다른 한편으로, 페이스북 사용자 약 4명 중 1명은 프라이버시에 대한 우려로 가짜 데이터를 입력하고 있다고 한다. 그뿐만이 아니다. 구글의 무인 자동차가 길거리로 나와서 주행하다가 사고를 낼 경우에 누구에게 책임이 있는가?

이 책은 데이터 과학의 등장으로 인해서 ‘새로운 가치판단적 상황이 도래하였으나 그에 걸맞은 새로운 가치관은 아직 세워지지 않은’ 우리 시대의 현주소에 대해서 독자들이 심도 깊게 고민할 것을 요구한다.

아직 갈 길이 멀다. 하지만 어느 틈에 게임의 법칙이 바뀌고 있고, 우리 사회는 이미 예측 사회로 나아가고 있다. 예측적 미래 세계는 유토피아일까, 디스토피아일까? 누구도 피해 갈 수 없는 이런 물음 앞에서, “예측 분석은 본질적으로 가치중립적이어서 좋은 방향으로 쓰일 수도 있지만 나쁜 방향으로 쓰일 수도 있다. 바로 그러하기에 예측 분석이 사악한 목적으로 사용되는 것을 방지하기 위해서라도 그것으로 어떤 일들을 할 수 있는지 이해하는 것은 매우 중요하다”는 저자의 말이 큰 울림으로 다가온다.

저자소개

에릭 시겔 박사는 데이터 마이닝 및 데이터 분석 분야에서 이름을 떨치고 있는 전문가이다. 1997~2001년에 컬럼비아 대학에서 대학원생들에게 기계 학습, 텍스트 마이닝, 데이터 시각화 등의 분야를 가르쳤다. 뉴욕 시에 소재한 고객 프로파일링 및 데이터 마이닝 소프트웨어 회사 2개를 공동 창업하였으며, 2003년에 예측 분석 서비스를 제공하는 ‘Prediction Impact’라는 회사를 창업해 포춘 100대 기업들을 대상으로 전략 및 마케팅을 위한 데이터 분석 서비스를 제공하고 있다. 에릭은 데이터 마이닝을 이용해 컴퓨터 보안, 사기 감지, 언어학 및 정보검색 분야에서 다양한 문제들을 해결해 왔다. 현재 데이터 마이닝을 주제로 하는 ‘Predictive Analytics World’와 ‘Text Analytics World’라는 연례 콘퍼런스의 공동설립자이자 의장으로서 양대 콘퍼런스를 주관하고 있으며, ‘Predictive Analytics Times’라는 인터넷 매체를 운영하고 있다.
에릭이 저술한 이 책(Predictive Analytics: The Power to Predict Who Will Click, Buy, Lie, or Die)은 2014년 미국 논픽션 작가 협회로부터 ‘Nonfiction Book Award’ 금상을 수상하였다.

목차

- 옮긴이의 말 . 데이터 과학이라는 새로운 분야의 등장

- 서언 . 큰 힘에는 큰 책임이 따른다

- 머리말 . 이제 비즈니스의 규칙이 새로 쓰여진다



00 예측 분석의 매혹과 위험성

대기업과 예측: 자산의 미래 | 천리안을 가진 컴퓨터를 소개합니다 | “나에게 먹이를 주세요.” 컴퓨터는 데이터를 먹고 자란다 | 나는 당신이 그럴 줄 알았다 | 예측의 잠재력과 한계 | 꿈의 구장 | 예측은 비즈니스를 최적화한다 | 폐인들의 힘: 데이터 과학자 | 학습의 예술



01 예측이 주는 소리 없는 혁명

- 데이터 과학의 성과가 비즈니스의 판을 급격히 바꾸고 있다




예측 사회의 시작 | 누구나 예측 분석의 가치를 비용으로 환산할 수 있다 | 2분 후를 미리 볼 수 있는 사람이 할 수 있는 일 | 백만 달러짜리 소리 없는 혁명 | 개인별 맞춤화의 위험 | 오늘도 내일도 의미 있는 예측이 되려면? | 누가 클릭할지 알고 나니 매출이 껑충! | 예측 모델은 어떻게 만들어지는가 | 행동에 옮기는 것이 진정한 경쟁력 | 위험한 도전! 주식시장의 블랙박스 거래 시스템의 오류를 찾아라 | 지상관제탑 나와라! 문제가 생겼다, 오버! | 작은 모델이 할 수 있는 것들 | 지상관제탑 나와라! 이륙에 성공했다, 오버! | 존 엘더, 예측 분석 서비스 회사를 차리다 | 인간의 내면에 대한 예측



02 힘이 커질수록 책임도 커진다

- 휴렛팩커드, 쇼핑몰, 경찰은 당신의 비밀을 추론해 낸다




타깃의 예측과 예측의 타깃 | 여론몰이의 도화선이 된 프레젠테이션 | 기업이 그녀의 임신을 알아냈다! 후폭풍 | 쇼핑몰의 고객 예측, 사생활 침해 논란에 휩싸이다 | 순간이동할 수 있는 사물을 가둘 수는 없다 | 법과 질서: 정책, 정치, 규제 | 데이터를 둘러싼 전투 | 데이터 마이닝은 파헤치지 않는다 | HP, 누가 퇴사할 것인지 알아내는 예측 모델을 개발하다 | 빛과 그림자, 전 직원에게 ‘이직 위험’ 점수를 매기다 | 데이터 분석적 인사관리 | 통찰력: 퇴사에 영향을 주는 요소들 | 민감한 데이터 분석 보고서 다루기 | 남보다 앞서 나간 상태에서 그만두지 마라 | 범죄를 예측하여 사전에 예방한다 | 사기범 찾아내기 | 범죄 데이터와 데이터 범죄 | 측정되지 않은 컴퓨터 리스크 | 편견의 악순환과 판도라의 상자 | 좋은 예측, 나쁜 예측 | 힘의 원천



03 데이터 효과

- 대중의 집단 정서와 경기 변동의 관계




감정에 대한 데이터와 데이터에 대한 감정 | 블로그 게시물의 분위기 예측하기 | 불안 지수 | 사람들의 집단적 정서를 시각화하기 | 사람들의 기분이 좋을 때 당신의 돈을 투자하라 | 사람들의 기분과 주가의 관계 | 데이터 쓰레기 더미에서 보물을 찾아라 | 할 수 있는 모든 것을 계측화하라 | 데이터가 몰려온다! T.M.I. | 빅데이터의 ‘속도’에 주목하라 | 데이터는 언제나 우리에게 말을 건넨다 | 예측을 위한 변수들 | 예측 분석이 발견한 이상하고 놀라운 인간 행동들 | 상관관계가 인과관계를 의미하지는 않는다 | 감정의 원인과 결과 | 한 장의 그림이 주는 힘 | 대중의 기분과 경기 변동을 최초로 예측 | 우연한 발견을 마주치는 법 | 블로그 연구를 통해 투자를 고려하는 게 문제일까? | 돈이 세상을 움직인다 | 모든 것을 한 군데로 모으기



04 학습하는 기계 - 부동산 담보대출 리스크에 대한 체이스 은행의 예측 분석



데이터 과학자, 은행을 만나다 | 은행, 리스크에 직면하다 | 예측, 리스크와 싸우다 | 사업은 곧 리스크다 | 학습하는 기계 | 학습하는 기계 만들기 | 실패한 경험으로부터 학습하기 | 기계 학습은 어떻게 이루어지는가 | 의사결정 나무는 어떻게 만들어지는가 | 컴퓨터여, 너 자신을 프로그램하라 | 데이터를 통해 배우고 또 배운다 | 더 큰 것이 더 좋은 것이다 | 과잉학습: 너무나 많은 가정 | 귀납법의 수수께끼 | 기계 학습의 예술과 과학 | 기계가 제대로 학습되었는지 검증하려면 | 예술작품을 조각하듯 섬세하게 조정하라 | 의사결정 나무를 체이스 은행 업무에 적용하기 | 나무에서 돈이 자란다 | 예측 분석은 왜 글로벌 금융위기를 막지 못했나 | 더 우수한 성능을 위하여



05 앙상블 효과

- 넷플릭스, 크라우스소싱, 그리고 협력으로 예측 분석력 향상시키기




아마추어들, 데이터 분석 과학자 되다 | 데이터 분석도 통계학도 몰랐던 다크호스 | 마인드소싱: 다양성 속에 존재하는 성공 | 크라우드소싱이 날개를 달다 | 경쟁자와 공유하고 협력하면 이긴다 | 적과 연합하여 경쟁하라 | 메타 학습 | 이길 수 없다면 하나가 되어라 | 기계도 ‘집단 지성’을 발휘한다 | 예측 모델들의 대중적 지혜 | 예측 모델들을 담은 자루 | 실전에 투입된 앙상블 모델 | 일반화의 역설: 더 많다고 좋은 것은 아니다 | 예측의 힘, 한계는 없다



06 인간을 이긴 기계 학습

-컴퓨터 왓슨, <제퍼디!>에서 어떻게 이겼나




텍스트 분석 | 기계에게 인간의 말은 너무 어렵다 | 질문을 이해했다면 이제 답변하라 | 지식의 원천은 이미 존재한다 | 애플의 시리 대 IBM의 왓슨 | 인공지능은 과연 가능할까? | 답변의 ‘정확성’을 예측한다 | 사람처럼 걷고, 사람처럼 말하다 | 왓슨의 학습을 위한 준비 방법 | 테크놀로지의 융합, 마술을 낳다 | 예측을 통한 공부시간의 최적화 | 왓슨의 데이터 수집법 | 왓슨이 답을 찾아가는 과정은? | 답안을 찾아내는 루틴들 | 앙상블 모델로 증거에 가중치 주기 | 앙상블의 앙상블을 구성하라 | 기계 학습이 자연어 처리의 잠재적 가능성을 실현하다 | 왓슨의 자기확신에 대한 평가 방법 | 생각의 속도를 높이기 위한 방법들 | 더블 제퍼디! 왓슨이 이길 것인가? | <제퍼디!> 운명의 날은 다가왔다 | 승리를 위하여 | 대결 이후: 존경, 환호, 그리고 두려움 | Iambic IBM AI | 미래 예측을 뛰어넘어 대안 예측하기



07 숫자를 통한 설득

- 이동통신회사, 은행, 대통령선거에서 어떻게 ‘예측’을 활용하는가




이동통신회사, 누가 갈아탈 것인가 | 잠자는 사자의 코털을 건드리지 마라 | 예측해야 할 새로운 대상 | 생각의 변화를 눈으로는 볼 수 없다 | 영화에서나 가능한 일: 한 번에 여러 가지 마케팅 실험하기 | 상대를 설득하는 선택의 기술 | 당신도 사용자에게 미치는 영향을 테스트할 수 있다 | 어찌되었든 물건을 구입했을 사람을 찾아라 | 향상 모델링을 통한 영향력 예측 | 영향력을 통한 은행의 금융상품 판매 | 접촉을 해야만 물건을 사는 고객을 찾아라 | 반응 향상 모델링 | 향상 모델링의 작동 원리 | 향상 모델링은 어떻게 작동하는가 | 설득 효과 | 산업별로 알아보는 영향력 | 이동통신 고객들의 이탈을 막아라 | 부동층을 넘어서 : 설득 모델링은 어떻게 오바마가 재집권에 성공하도록 도와주었는가



부록 1 . 다섯 가지 예측 효과

부록 2 . 예측 분석 응용 사례 21가지

찾아보기

한줄 서평